package com.qianxun.spider.pipeline;

import com.qianxun.spider.Spider;
import com.qianxun.spider.config.SpiderBeanConfig;

import java.util.Map;

/**
 * @author: huwei
 * @date: 2020/6/28 15:07
 * @version: 1.0.0
 */
public interface SpiderPipeline {
    /**
     * 处理数据
     * @param parseMap
     * @param parseObject
     * @param spiderBeanConfig
     * @param spider
     * @param localData
     */
    void process(Map<String ,Object> parseMap , Object parseObject , SpiderBeanConfig spiderBeanConfig , Spider spider , Spider.ThreadLocalData localData);

    /**
     * 关闭通知方法
     * @param spiderBeanConfig
     */
    default void close(SpiderBeanConfig spiderBeanConfig){}
}
